Existing training criteria in automatic speech recognition(ASR) permit the model to freely explore more than one time alignments between the feature and label sequences. In this paper, we use entropy to measure a model's uncertainty, i.e. how it chooses to distribute the probability mass over the set of allowed alignments. Furthermore, we evaluate the effect of entropy regularization in encouraging the model to distribute the probability mass only on a smaller subset of allowed alignments. Experiments show that entropy regularization enables a much simpler decoding method without sacrificing word error rate, and provides better time alignment quality.

We explore unifying a neural segmenter with two-pass cascaded encoder ASR into a single model. A key challenge is allowing the segmenter (which runs in real-time, synchronously with the decoder) to finalize the 2nd pass (which runs 900 ms behind real-time) without introducing user-perceived latency or deletion errors during inference. We propose a design where the neural segmenter is integrated with the causal 1st pass decoder to emit a end-of-segment (EOS) signal in real-time. The EOS signal is then used to finalize the non-causal 2nd pass. We experiment with different ways to finalize the 2nd pass, and find that a novel dummy frame injection strategy allows for simultaneous high quality 2nd pass results and low finalization latency. On a real-world long-form captioning task (YouTube), we achieve 2.4% relative WER and 140 ms EOS latency gains over a baseline VAD-based segmenter with the same cascaded encoder.

在长时间到数小时的长时间话语中，提高端到端ASR模型的性能是语音识别的持续挑战。一个常见的解决方案是使用单独的语音活动检测器（VAD）事先将音频分割，该声音活动检测器（VAD）纯粹基于声音/非语音信息来决定段边界位置。但是，VAD细分器可能是现实世界语音的最佳选择，例如，一个完整的句子应该整体上可能包含犹豫（“设置... 5点钟的警报”） 。我们建议用端到端的ASR模型替换VAD，能够以流方式预测段边界，从而使细分决定不仅在更好的声学特征上，而且还可以在解码文本的语义特征上进行，并具有可忽略的额外功能计算。在现实世界长音频（YouTube）的实验中，长度长达30分钟，我们证明了相对改善的8.5％，并且与VAD段基线相比，中位段延迟潜伏期的中位数延迟延迟减少了250毫秒。 - ART构象体RNN-T模型。

Providing accurate estimated time of package delivery on users' purchasing pages for e-commerce platforms is of great importance to their purchasing decisions and post-purchase experiences. Although this problem shares some common issues with the conventional estimated time of arrival (ETA), it is more challenging with the following aspects: 1) Inductive inference. Models are required to predict ETA for orders with unseen retailers and addresses; 2) High-order interaction of order semantic information. Apart from the spatio-temporal features, the estimated time also varies greatly with other factors, such as the packaging efficiency of retailers, as well as the high-order interaction of these factors. In this paper, we propose an inductive graph transformer (IGT) that leverages raw feature information and structural graph data to estimate package delivery time. Different from previous graph transformer architectures, IGT adopts a decoupled pipeline and trains transformer as a regression function that can capture the multiplex information from both raw feature and dense embeddings encoded by a graph neural network (GNN). In addition, we further simplify the GNN structure by removing its non-linear activation and the learnable linear transformation matrix. The reduced parameter search space and linear information propagation in the simplified GNN enable the IGT to be applied in large-scale industrial scenarios. Experiments on real-world logistics datasets show that our proposed model can significantly outperform the state-of-the-art methods on estimation of delivery time. The source code is available at: https://github.com/enoche/IGT-WSDM23.

本文解决了利益区域（ROI）计算机断层扫描（CT）的图像重建问题。尽管基于模型的迭代方法可用于此问题，但由于乏味的参数化和缓慢的收敛性，它们的实用性通常受到限制。另外，当保留的先验不完全适合溶液空间时，可以获得不足的溶液。深度学习方法提供了一种快速的替代方法，从大型数据集中利用信息，因此可以达到高重建质量。但是，这些方法通常依赖于不考虑成像系统物理学的黑匣子，而且它们缺乏可解释性通常会感到沮丧。在两种方法的十字路口，最近都提出了展开的深度学习技术。它们将模型的物理和迭代优化算法纳入神经网络设计中，从而在各种应用中均具有出色的性能。本文介绍了一种新颖的，展开的深度学习方法，称为U-RDBFB，为ROI CT重建而设计为有限的数据。由于强大的非凸数据保真功能与稀疏性诱导正则化功能相结合，因此有效地处理了很少的截断数据。然后，嵌入在迭代重新加权方案中的块双重前向（DBFB）算法的迭代将在神经网络体系结构上展开，从而以监督的方式学习各种参数。我们的实验显示了对各种最新方法的改进，包括基于模型的迭代方案，深度学习体系结构和深度展开的方法。

神经网络（NNS）也很难有效地学习某些问题，例如奇偶校验问题，即使对于这些问题有简单的学习算法。NNS可以自己发现学习算法吗？我们展示了一个NN体系结构，在多项式时期，可以通过恒定尺寸的学习算法来学习以及任何有效的学习算法。例如，在奇偶校验问题上，NN学习和减少行，这是一种可以简单描述的有效算法。我们的体系结构结合了层和卷积重量共享之间的重复分享，即使网络本身可能具有数万亿个节点，也将参数数量降低到常数。在实践中，我们的分析中的常数太大而无法直接有意义，但我们的工作表明，经常性和卷积NNS（RCNN）的协同作用可能比单独的任何一个更强大。

自动故事生成（ASG）的研究在很大程度上依赖于人类和自动评估。但是，尚无共识在哪些人类评估标准上使用，也没有分析自动标准与它们相关的良好状况。在本文中，我们建议重新评估ASG评估。我们介绍了由社会科学文学精心促进的6种正交和全面的人类标准。我们还提出了汉娜（Hanna），这是一个由10种不同ASG系统制作的1,056个故事的注释数据集。汉娜（Hanna）允许我们定量评估72个自动指标与人类标准的相关性。我们的分析强调了ASG当前指标的弱点，并使我们能够为ASG评估提出实用建议。

当我们扩大数据集，模型尺寸和培训时间时，深入学习方法的能力中存在越来越多的经验证据。尽管有一些关于这些资源如何调节统计能力的说法，但对它们对模型培训的计算问题的影响知之甚少。这项工作通过学习$ k $ -sparse $ n $ bits的镜头进行了探索，这是一个构成理论计算障碍的规范性问题。在这种情况下，我们发现神经网络在扩大数据集大小和运行时间时会表现出令人惊讶的相变。特别是，我们从经验上证明，通过标准培训，各种体系结构以$ n^{o（k）} $示例学习稀疏的平等，而损失（和错误）曲线在$ n^{o（k）}后突然下降。 $迭代。这些积极的结果几乎匹配已知的SQ下限，即使没有明确的稀疏性先验。我们通过理论分析阐明了这些现象的机制：我们发现性能的相变不到SGD“在黑暗中绊倒”，直到它找到了隐藏的特征集（自然算法也以$ n^中的方式运行{o（k）} $ time）;取而代之的是，我们表明SGD逐渐扩大了人口梯度的傅立叶差距。

许多科学领域需要对复杂系统的时间行为的可靠预测。然而，这种强烈的兴趣是通过建模问题阻碍：通常，描述所考虑的系统物理学的控制方程是不可访问的，或者在已知时，它们的解决方案可能需要与预测时间约束不兼容的计算时间。如今，以通用功能格式近似复杂的系统，并从可用观察中通知IT Nihilo已成为一个常见的做法，如过去几年出现的巨大科学工作所示。许多基于深神经网络的成功示例已经可用，尽管易于忽视了模型和保证边缘的概括性。在这里，我们考虑长期内存神经网络，并彻底调查训练集的影响及其结构对长期预测的质量。利用ergodic理论，我们分析了保证物理系统忠实模型的先验的数据量。我们展示了根据系统不变的培训集的知情设计如何以及潜在的吸引子的结构，显着提高了所产生的模型，在积极学习的背景下开放研究。此外，将说明依赖于存储器能够的模型时内存初始化的非琐碎效果。我们的调查结果为有效数据驱动建模的任何复杂动态系统所需的数量和选择提供了基于证据的良好实践。

机械通气是ICU中最广泛使用的疗法中最广泛的疗法之一。然而，尽管在麻醉与科迪德相关的终身支持中具有广泛的应用，但仍有许多有害挑战。我们将这些视为控制问题：呼吸机必须根据规定的气道压力轨迹进出患者的肺部。基于PID方法的行业标准控制器既不是最佳的也不是强大的。我们的数据驱动方法学习通过在从呼吸机收集的数据上培训的模拟器本身进行培训来控制侵入式呼吸机。该方法优于流行的加固学习算法，甚至比PID更精确且强大地控制物理呼吸机。这些结果强调了有效的数据驱动方法可以用于侵入性通风，并表明更通用的通风形式（例如，无侵入性，适应性）也可能是可享受的。